Bakat beliau dalam bidang muzik dikesan oleh pemuzik terkenal, En. Tom, yang telah membawa beliau menganggotai kumpulan rock yang terkenal pada masa itu, Headwind. Maka bermulalah perjalanan seni Zainal Abidin apabila beliau berhijrah ke Kuala Lumpur bersama-sama dengan kumpulan Headwind, dan mengadakan persembahan di Kuala Lumpur dan di seluruh Malaysia. Pada mulanya, Zainal Abidin diberi kepercayaan untuk bermain perkusi dan trombon, di mana akhirnya beliau diberi pula kepercayaan untuk menyanyi. Bermula dengan itulah Zainal terus mengorak langkah dan tidak lagi menoleh ke belakang dalam mengembangkan kerjayanya sebagai seorang penyanyi yang juga berkebolehan bermain alat muzik.[5]

Akhirnya beliau telah diberi kepercayaan sebagai penyanyi utama kumpulan Headwind dan telah merakamkan 5 buah album bersama kumpulan tersebut. Headwind telah berjaya menjadi sebuah kumpulan yang sangat popular di Malaysia, dengan beberapa lagu hits seperti "Suraya", "Hanya Di Radio", "Cinta Si Camar Putih", "Pelangi", "Segalanya Mungkin", "Kasihku abadi", "Berakhir Satu Percintaan", "Kita Serupa", "Meditasi" dan "Memori Luka".

Pada 1986, beliau bersama-sama dengan Jay Jay, Razis Ismail, David Arumugam, Salamiah Hassan dan Khadijah Ibrahim terlibat merakamkan lagu bertajuk "Untukmu Malaysia", iaitu lagu yang diterbitkan khas bagi projek badminton untuk piala Thomas 1988. Turut terlibat dalam rakaman lagu tersebut ialah bekas pemain badminton negara, Misbun Sidek.

Demi mengembangkan kerjaya seninya, Zainal meninggalkan Headwind pada awal 1990 dan mencari hala tuju muzik yang menjadi kegemarannya dengan bekerja di Club Med Cherating, Pahang di mana beliau bekerja sebagai penyanyi dan pemuzik di resort tersebut. Di Club Med, Zainal Abidin telah memperolehi pengalaman yang sangat berharga dimana beliau didedahkan dengan budaya dan muzik antarabangsa oleh beberapa pekerja antarabangsa yang berkerja di sana. Bermula di Club Med juga beliau telah mendapat idea untuk membawa genre World Music sebagai penyambung kerjaya muziknya.

Pada tahun tahun yang sama, beliau menyertai Roslan Aziz Production (RAP) sebagai artis solo pertama dan menghasilkan album solo pertamanya yang menggunakan namanya sebagai judul album. Single pertama belau, "Hijau" [6] yang berkisarkan tentang alam sekitar telah mengukuhkan lagi kerjayanya sebagai penyanyi solo dan lagu ini menjadi lagu tandatangan Zainal Abidin dan terus menjadi siulan ramai sehingga kini.[7]

Beliau juga berkongsi pentas dengan Afdlin Shauki, Zubir Ali (Allahyarham), Sheila Majid, Azman Warren dan Amir Yussof menerusi konsert Ikhlas Tapi Jauh di bawah pimpinan Roslan Aziz,[8] konsert ini diadakan pada 25 Disember 1992 di Stadium Negara, Bukit Jalil, bersempena dengan sambutan Hari Krismas.

Kejayaan Zainal cukup banyak untuk disenaraikan satu persatu. Yang paling penting, album Zainal berjudul Gamal yang dikeluarkan pada tahun 1994 dan ternyata menjadi album Malaysia yang berkelas dunia. Menampilkan beberapa pemuzik antarabangsa seperti legenda Amerika Paul Simon, gitaris Randy Bernsen, gitaris bass Armand Sabal-Lecco dan Steve Thornton, album yang melihat Zainal memikul tanggungjawab sebagai komposer, penulis lirik dan penerbit, diiktiraf sebagai bertaraf dunia. Malah ia berjaya menembusi pasaran Australia, Brazil, Jepun, Perancis, Indonesia, Amerika Syarikat dan Sweden, ia kemudiannya dengan album ketiga, Terang… Sang dan persembahannya di Festival Muzik Shirataka di Jepun pada 1995.

Pada 1998, beliau telah dipilih menyanyikan lagu tema filem animasi Silat Lagenda yang bertajuk "Ceritera". Ekoran kejayaan album Gamal dan Terang… Sang, pada 1999, bakat dan hasil karya Zainal mendapat perhatian pemuzik ternama England, Phil Collins yang memberi peluang kepadanya menyanyikan komposisinya yang telah dihasilkan khas untuk versi Bahasa Melayu bagi filem animasi ‘Tarzan’ (1999) terbitan Disney.

Album keempat Zainal, Puteri dikeluarkan pada 2004 dengan lagu hits "Puteri" dan "Gaia". Kejayaan ini berterusan dengan single seperti "Menari Denganmu" dan "Hey Honey", termasuk juga lagu Kronolohi yang mengandungi sampel daripada lagu "Khayalan", "Orak Arek", "Hijau" dan "Sabar". Album ini melayakkan Zainal memenangi kategori Rakaman Album Terbaik dan Persembahan Vokal Terbaik di dalam Lagu (Lelaki) di Anugerah Industri Muzik ke-12. Walaupun mempunyai pengalaman yang banyak, Zainal tak lokek berkongsi ilmu. Pada 2005, Zainal Abidin dipilih sebagai mentor kepada Pija (adik penyanyi Naufara) menerusi program Mentor musim pertama, Zainal telah mendidik Pija sehingga gadis itu berjaya dinobatkan sebagai juara.